package com.example.ai.test;


import com.knuddels.jtokkit.Encodings;
import com.knuddels.jtokkit.api.Encoding;
import com.knuddels.jtokkit.api.EncodingRegistry;
import com.knuddels.jtokkit.api.EncodingType;
import com.knuddels.jtokkit.api.IntArrayList;

public class TokenCounter {
    public static void main(String[] args) {
        String text = """
                岗位名称：AI 应用开发工程师
                工作职责:
                1、负责设计、构建和优化A智能体及其应用产品，快速响应产品业务需求;
                2、设计和实现基于LLM的智能体架构，包括任务规划、对话管理、意图识别、知识库、流程工程等;
                3、开发和维护智能体的后端服务，确保系统的稳定性和可扩展性，并能推动AlAgents在架构和性能上的持续优化;
                4、参与和主导大模型智能客服系统的设计和开发，提升客户交互体验和系统响应效率，并能对智能体进行评测和调优。职位要求:
                1、计算机相关专业，本科及以上学历，5年以上相关工作经验;
                2、动手能力强，精通Java编程语言，具备良好的软件框架;
                和应用设计能力;
                3、深入了解Al Agents技术栈，掌握LangChain/Llamai ndex等LLM开发工具框架，有丰富的智能体开发和Prom pt Engineering经验;
                4、熟练使用各种开源或SaaS版的Agent开发平台，熟练掌握LLM 应用程序的部署和运维;
                5、熟悉NLP、ML和模型微调者优先，有LLMOps应用和开发经验者优先。
                                
                岗位名称：大模型应用开发工程师
                岗位职责：
                1、负责LLM模型的微调，以满足特定业务场景需求
                2、利用RAG知识库，流程编排等方式，根据特定业务场景开发大模型应用
                3、与其他团队合作，完成模型部署、调优，保障模型稳定运行及持续优化
                4、研究和应用，各类LLM开源调优和开发框架，以支持业务创新和发展
                岗位要求：
                1、计算机、数学、统计学等相关专业本科以上学历，具有机器学习、LLM模型训练和调优相关经验
                2、扎实的机器学习、深度学习和自然语言处理理论基础，具备优秀的工程开发能力
                3、熟悉Python/C++变成语言
                4、熟悉PyTorch，TensorFlow等深度学习平台，熟悉LangChain、LlamaIndex等大模型应用开发框架
                5、熟悉MS-swift、Dify等模型微调开发平台
                6、能够对领域前沿技术保持持续关注和学习，愿意投入研究和解决挑战问题
                7、较强的问题分析解决能力，良好的团队协作能力
                8、实践动手能力强，在高水平技术评测或竞赛中获得Top成绩或有相关论文者优先。
                                
                                
                岗位名称：Manus AI Agent / MCP应用开发
                职位描述
                深度学习PythonSQL我们正在寻找一位有才华的软件开发人员加入我们的团队，专注于基于Manus AI Agent / MCP应用开发。理想的候选人应具备扎实的技术背景，并对人工智能和自动化充满热情。
                薪资范围：8-20k
                岗位职责：
                1.负责设计、开发和部署Manus AI Agent / MCP解决方案。
                2.与跨职能团队合作，理解需求并将其转化为技术规范和可执行的代码。
                3.参与智能体模型的训练、优化以及性能评估。
                4.编写高质量的文档，确保项目知识的有效传递。
                5.持续关注AI领域的最新进展，尤其是Manus相关的技术创新，并应用于实际工作中。
                应聘要求：
                1.计算机科学或相关领域的本科及以上学历。
                2.精通Python编程语言，熟悉Manus AI Agent，MCP及相关的开发工具链。
                3.具备良好的机器学习基础，了解常见的算法及其应用场景。
                4.有使用深度学习框架（如PyTorch, TensorFlow）的经验者优先考虑。
                5.熟悉Linux操作系统，能够编写Shell脚本进行环境配置和数据处理。
                6.了解数据库系统（如MySQL, PostgreSQL），能够进行基本的数据操作。
                7.对新技术有强烈的学习意愿和快速学习能力。
                8.良好的沟通能力和团队合作精神，能够在快节奏环境中高效工作。
                """;
        EncodingRegistry registry = Encodings.newDefaultEncodingRegistry();
        Encoding encoding = registry.getEncoding(EncodingType.CL100K_BASE);
        IntArrayList tokens = encoding.encode(text);
        System.out.println("Token count : " + tokens.size()+", text count:"+text.length());
    }
}